A Particle Swarm Optimization inspired tracker applied to visual tracking

International audienceVisual tracking is dynamic optimization where time and object state simultaneously influence the problem. In this paper, we intend to show that we built a tracker from an evolutionary optimization approach, the PSO (Particle Swarm optimization) algorithm. We demonstrated that an extension of the original algorithm where system dynamics is explicitly taken into consideration, it can perform an efficient tracking. This tracker is also shown to outperform SIR (Sampling Importance Resampling) algorithm with random walk and constant velocity model, as well as a previously PSO inspired tracker, SPSO (Sequential Particle Swarm Optimization). Experiments were performed both on simulated data and real visual RGB-D information. Our PSO inspired tracker can be a very effective and robust alternative for visual tracking

Etude de l'IHR sur deux groupes de personnes agées

International audienceWe used PR2 robot, in autonomous operation in a living lab setting, to provide an object search service to elderly volunteers (familiar to robots or naïve). Observation was complemented by semi-directed interviews. There was no significant difference between the groups either in the successful detection of the willingness to interact or the appreciation of voice interaction. This fosters dedicated HCI development for the elderly.Nous avons étudié l'interaction homme-robot, en fonctionnement autonome en environnement contrôlé, de PR2™ utilisé pour rechercher des objets avec des sujets âgés (avec ou sans expertise robotique). L'observation a été complétée d'entretiens semi-directifs. Il n'y a pas eu de différence significative entre ces deux groupes pour le succès de la détection d'intentionnalité et la perception de l'interaction vocale. Ce résultat est en faveur d'IHM prenant en compte les spécificités de la personne âgée

Perceiving user's intention-for-interaction: A probabilistic multimodal data fusion scheme

International audienceUnderstanding people's intention, be it action or thought, plays a fundamental role in establishing coherent communication amongst people, especially in non-proactive robotics, where the robot has to understand explicitly when to start an interaction in a natural way. In this work, a novel approach is presented to detect people's intention-for-interaction. The proposed detector fuses multimodal cues, including estimated head pose, shoulder orientation and vocal activity detection, using a probabilistic discrete state Hidden Markov Model. The multimodal detector achieves up to 80% correct detection rates improving purely audio and RGB-D based variants

A Multi-modal Perception based Architecture for a Non-intrusive Domestic Assistant Robot

International audienceWe present a multi-modal perception based architecture to realize a non-intrusive domestic assistant robot. The realized robot is non-intrusive in that it only starts interaction with a user when it detects the user's intention to do so automatically. All the robot's actions are based on multi-modal perceptions, which include: user detection based on RGB-D data, user's intention-for-interaction detection with RGB-D and audio data, and communication via speech recognition. The utilization of multi-modal cues in different parts of the robotic activity paves the way to successful robotic runs

Quels sont les objets égarés à domicile par les personnes âgées fragiles ? Une étude pilote sur 60 personnes

National audienceLoosing objects is a cause of conflicts between frail elderlies and their caregivers. To our knowledge, the literature addressing delusion of theft doesn’t provide information on the objects that are involved. In the RIDDLE project, we are using a companion robot to help the elderly find the objects they are looking for. Hence, we initiated a study with the cross interviews of 60 patient/caregiver dyads to identify which objects would be most relevant to them. Objects are looked for by the patient according to 72 % of the patients and 82 % of the caregivers. The most commonly looked for objects, when they are in use by the patient, are: spectacles (45 %), house keys (34 %), mobile (31 %), wallet (26 %), remote control (19 %), and cane (22 %). After rigging the localization technology to the afore-mentioned objects, the related service will have to be customized to the ways of the user.La perte d’objets cause des conflits entre les personnes âgées fragiles et leur famille. Le projet Riddle utilise un robot compagnon pour aider des personnes âgées à retrouver des objets. La bibliographie sur le délire de vol ne donne pas de liste d’objets recherchés. L’objectif est de définir les objets les plus pertinents à localiser en réalisant un interrogatoire croisé, séparément, de 60 couples patient/aidant. Soixante-douze pour cent des patients recherchent des objets (82 % pour les aidants). Les objets utilisés les plus recherchés sont : lunettes (45 %), clés de maison (34 %), téléphone portable (31 %), porte-monnaie (26 %), télécommande (19 %), canne (22 %). Après équipement technique des objets ainsi définis, la mise en œuvre du service d’aide devra tenir compte de l’usage individuel

A multi-modal perception based assistive robotic system for the elderly

Edited by Giovanni Maria Farinella, Takeo Kanade, Marco Leo, Gerard G. Medioni, Mohan TrivediInternational audienceIn this paper, we present a multi-modal perception based framework to realize a non-intrusive domestic assistive robotic system. It is non-intrusive in that it only starts interaction with a user when it detects the user's intention to do so. All the robot's actions are based on multi-modal perceptions which include user detection based on RGB-D data, user's intention-for-interaction detection with RGB-D and audio data, and communication via user distance mediated speech recognition. The utilization of multi-modal cues in different parts of the robotic activity paves the way to successful robotic runs (94% success rate). Each presented perceptual component is systematically evaluated using appropriate dataset and evaluation metrics. Finally the complete system is fully integrated on the PR2 robotic platform and validated through system sanity check runs and user studies with the help of 17 volunteer elderly participants

A combined field survey and molecular identification protocol for comparing forest arthropod biodiversity across spatial scales

Obtaining fundamental biodiversity metrics such as alpha, beta and gamma diversity for arthropods is often complicated by a lack of prior taxonomic information and/or taxonomic expertise, which can result in unreliable morphologically based estimates. We provide a set of standardized ecological and molecular sampling protocols that can be employed by researchers whose taxonomic skills may be limited, and where there may be a lack of robust a priori information regarding the regional pool of species. These protocols combine mass sampling of arthropods, classification of samples into parataxonomic units (PUs), and selective sampling of individuals for mtDNA sequencing to infer biological species. We sampled ten lowland rainforest plots located on the volcanic oceanic island of Réunion (Mascarene archipelago) for spiders, a group with limited taxonomic and distributional data for this region. We classified adults and juveniles into PUs and then demonstrated the reconciliation of these units with presumed biological species using mtDNA sequence data, ecological data and distributional data. Because our species assignment protocol is not reliant upon prior taxonomic information, or taxonomic expertise, it minimises the problem of the Linnean shortfall to yield diversity estimates that can be directly compared across independent studies. Field sampling can be extended to other arthropod groups and habitats by adapting our field sampling protocol accordingly

Perception multimodale de l’homme pour l’interaction Homme-Robot

This thesis focuses on multimodal perception of man for Interaction Human-Robot (IHR). It was financed by the ANR restrained RIDDLE (2012-2015). This project focuses on the development of an assistance robot for elderly people with mild cognitive impairment. This aims to meet a growing need home help for the elderly living alone. Indeed, the aging population growing, it is estimated that 33% of French have more than 60 years in 2060. The challenge is to program an interactive robot (via its perceptual abilities) able to learn the relationship between the user and a subset of everyday objects of that or of the relevant objects, present or possibly lost in the shared space of the robot and the user. In this context, there are still many obstacles to be overcome, particularly in terms of: (i) joint perception of man and his environment, (ii) integration of a robotic system, (iii) validation scenarios involving the robot and an elderly person in interaction with some everyday objects. The project objective is to see the robot answer questions on ten common items (defined by a preliminary study on a population that complains of cognitive disorders) through appropriate actions.For example, the robot signal the location of an object by moving toward him, grasping or giving oral information as to its position if the object is not reachable. The RIDDLE multistakeholder project: it includes the Magellium society, Gérontopôle Toulouse, MINC team LAAS-CNRS and the company Aldebaran Robotics which the robot must serve as a platform for the final demonstrations. This thesis was jointly supervised by Frederic and Isabelle Lerasle Ferran ed faculty respectively in the RAP teams LAAS-CNRS and SAMoVA IRIT-UPS. During this project, we, in partnership with the Gérontopôle defined a robotic scenario involving three main phases. A monitoring phase when the robot is far away from the user and the observed position, waiting for a request of interaction, a phase of proximal interaction where the robot is closer to the user and interacts with it, and finally the transition that enables the robot to move from one phase to another. This scenario is constructed so as to create a robot proactive interaction but non-intrusive. The non-invasive nature is embodied by the monitoring phase. Proactivity is, in turn, evidenced by the creation of an e intentionality detector enabling the robot to understand non-verbal way the will of the user to communicate with him. The scientific contributions of this thesis cut across various aspects of the project: the robotic scenario, the intentionality detector, a filtering technique particle swarm, and finally a Bayesian technique improvement of the word error rate from ' distance information. This thesis is divided into four chapters. The first deals with the intentionality detector, the second of the developed filter technology, the third phase of the proximal interaction and techniques employed, and the last chapter focuses on robotic implementations.Cette thèse porte sur la perception multimodale de l'homme pour l'Interaction Homme-Robot (IHR). Elle a été financée par le projet ANR Contint RIDDLE (2012 - 2015). Ce projet est centré sur le développement d'un robot d'assistance pour les personnes âgées atteintes de troubles cognitifs légers. Celui-ci a pour but de répondre à un besoin grandissant d'aide à domicile envers les personnes âgées vivant seules. En effet, la population vieillissant de plus en plus, on estime qu'environ 33% des français auront plus de 60 ans en 2060. L'enjeu est donc de programmer un robot interactif (via ses capacités perceptuelles) capable d'apprendre la relation entre l'usager et un sousensemble d'objets du quotidien de ce dernier, soit des objets pertinents, présents ou possiblement égarés dans l'espace partagé du robot et de l'usager. Dans ce cadre, il reste de nombreux verrous à lever, notamment en termes de : (i) perception conjointe de l'homme et de son environnement, (ii) d'intégration sur un système robotisé, (iii) de validation par des scénarii mettant en jeu le robot et une personne âgée en interaction avec quelques objets usuels. La finalité du projet est de voir le robot répondre aux interrogations relatives à une dizaine d'objets courants (définis par une étude préliminaire sur une population qui se plaint de troubles cognitifs) par des actions appropriées. Par exemple, le robot signalera l'emplacement d'un objet en se déplaçant vers lui, en le saisissant ou en donnant des indications orales quant à sa position si l'objet n'est pas atteignable. Le projet RIDDLE est multipartenaire : il regroupe la société Magellium, le Gérontopôle de Toulouse, l'équipe MINC du LAAS-CNRS et l'entreprise Aldebaran Robotics dont le robot doit servir de plateforme pour les démonstrations finales. Cette thèse a été co-encadrée par Frédéric Lerasle et Isabelle Ferran é respectivement enseignants-chercheurs dans les équipes RAP du LAAS-CNRS et SAMoVA de l'IRIT-UPS. Lors de ce projet, nous avons, en partenariat avec le gérontopôle, défini un scénario robotique regroupant trois phases principales. Une phase de monitoring où le robot se trouve loin de l'utilisateur et l'observe de sa position, en attente d'une demande d'interaction, une phase d'interaction proximale où le robot se trouve proche de l'utilisateur et interagit avec lui, et enfin la transition qui permet au robot de passer d'une phase à l'autre. Ce scénario est donc construit de manière à créer un robot d'interaction proactif mais non-intrusif. Le caractère non-intrusif est matérialisé par la phase de monitoring. La proactivité est, quant à elle, matérialisée par la création d'un détecteur d'intentionnalit é permettant au robot de comprendre de manière non-verbale la volonté de l'utilisateur de communiquer avec lui. Les contributions scientifiques de cette thèse recoupent divers aspects du projet : le scénario robotique, le détecteur d'intentionnalité, une technique de filtrage par essaim de particules, et enfin une technique bayésienne d'amélioration du taux d'erreur de mot à partir d'informations de distance. Cette thèse est divisée en quatre chapitres. Le premier traite du détecteur d'intentionnalité, le deuxième de la technique de filtrage développée, le troisième de la phase d'interaction proximale et des techniques employées, et enfin le dernier chapitre est centré sur les implémentations robotiques

Human multimodal perception for human-robot interaction

Cette thèse porte sur la perception multimodale de l'homme pour l'Interaction Homme-Robot (IHR). Elle a été financée par le projet ANR Contint RIDDLE (2012 - 2015). Ce projet est centré sur le développement d'un robot d'assistance pour les personnes âgées atteintes de troubles cognitifs légers. Celui-ci a pour but de répondre à un besoin grandissant d'aide à domicile envers les personnes âgées vivant seules. En effet, la population vieillissant de plus en plus, on estime qu'environ 33% des français auront plus de 60 ans en 2060. L'enjeu est donc de programmer un robot interactif (via ses capacités perceptuelles) capable d'apprendre la relation entre l'usager et un sous-ensemble d'objets du quotidien de ce dernier, soit des objets pertinents, présents ou possiblement égarés dans l'espace partagé du robot et de l'usager. Dans ce cadre, il reste de nombreux verrous à lever, notamment en termes de : (i) perception conjointe de l'homme et de son environnement, (ii) d'intégration sur un système robotisé, (iii) de validation par des scénarii mettant en jeu le robot et une personne âgée en interaction avec quelques objets usuels. La finalité du projet est de voir le robot répondre aux interrogations relatives à une dizaine d'objets courants (définis par une étude préliminaire sur une population qui se plaint de troubles cognitifs) par des actions appropriées. Par exemple, le robot signalera l'emplacement d'un objet en se déplaçant vers lui, en le saisissant ou en donnant des indications orales quant à sa position si l'objet n'est pas atteignable. Le projet RIDDLE est multipartenaire : il regroupe la société Magellium, le Gérontopôle de Toulouse, l'équipe MINC du LAAS-CNRS et l'entreprise Aldebaran Robotics dont le robot doit servir de plateforme pour les démonstrations finales. Cette thèse a été co-encadrée par Frédéric Lerasle et Isabelle Ferrané respectivement enseignants-chercheurs dans les équipes RAP du LAAS-CNRS et SAMoVA de l'IRIT-UPS. Lors de ce projet, nous avons, en partenariat avec le gérontopôle, défini un scénario robotique regroupant trois phases principales. Une phase de monitoring où le robot se trouve loin de l'utilisateur et l'observe de sa position, en attente d'une demande d'interaction, une phase d'interaction proximale où le robot se trouve proche de l'utilisateur et interagit avec lui, et enfin la transition qui permet au robot de passer d'une phase à l'autre. Ce scénario est donc construit de manière à créer un robot d'interaction proactif mais non-intrusif. Le caractère non-intrusif est matérialisé par la phase de monitoring. La proactivité est, quant à elle, matérialisée par la création d'un détecteur d'intentionnalité permettant au robot de comprendre de manière non-verbale la volonté de l'utilisateur de communiquer avec lui. Les contributions scientifiques de cette thèse recoupent divers aspects du projet : le scénario robotique, le détecteur d'intentionnalité, une technique de filtrage par essaim de particules, et enfin une technique bayésienne d'amélioration du taux d'erreur de mot à partir d'informations de distance. Cette thèse est divisée en quatre chapitres. Le premier traite du détecteur d'intentionnalité, le deuxième de la technique de filtrage développée, le troisième de la phase d'interaction proximale et des techniques employées, et enfin le dernier chapitre est centré sur les implémentations robotiques.This work is about human multimodal perception for human-robot interaction (HRI). This work was financed by the RIDDLE ANR Contint project (2012-2015). This project focuses on the development of an assisting robot for the elderly who experience small losses of memory. This project aims at coping with a growing need in human care for elder people living alone. Indeed in France, the population is aging and around 33% of the estimated population will be more than 60 years old by 2060. The goal is therefore to program an interactive robot (with perceptive capabilities), which would be able to learn the relationship between the user and a set of selected objects in their shared environment. In this field, lots of problems remain in terms of : (i) shared human-environment perception, (ii) integration on a robotic platform, and (iii) the validation of some scenarii about usual objects that involve both the robot and the elderly. The aim is to see the robot answer the user's interrogations about ten objects (defined by a preliminary study) with appropriate actions. For example, the robot will indicate the position of an object by moving towards it, grapping it or giving oral indications if it is not reachable. The RIDDLE project was formed by a consortium, with Magellium, the gerontology center of Toulouse, the MINC team from the LAAS-CNRS laboratory and Aldebaran Robotics. The final demonstrations will be led on the Rom´eo platform. This thesis has been co-directed by Fr´ed´eric Lerasle and Isabelle Ferran´e, respectively from the RAP team of LAAS-CNRS and the SAMoVA team of IRIT. Along the project, in partnership with the gerontology center, a robot scenario was determined following three major steps. During the first one -the "Monitoring step"- the robot is far from the user and waits for an intention of interaction. A "Proximal interaction step" is reached when the robot interacts with the user from a close position. Finally, the last step : the "Transition" allows the robot to move to reach the two previous ones. This scenario was built in order to create a not-intrusive proactive robot. This non-intrusiveness is materialized by the "monitoring step". The proactivity is achieved by the creation of a detector of user intention, allowing the robot to understand non-verbal information about the user's will to communicate with it. The scientific contributions of this thesis include various aspects : robotic scenarii, the detector of user intention, a filtering technique based on particle swarm optimization algorithm, and finally a Baysian scheme built to improve the word error rate given distance information. This thesis is divided in four chapters. The first one is about the detector of user intention. The second chapter moves on to the filtering technique. The third chapter will focus on the proximal interaction and the employed techniques, and finally the last chapter will deal with the robotic implementations

Perception multimodale de l’homme pour l’interaction Homme-Robot

This thesis focuses on multimodal perception of man for Interaction Human-Robot (IHR). It was financed by the ANR restrained RIDDLE (2012-2015). This project focuses on the development of an assistance robot for elderly people with mild cognitive impairment. This aims to meet a growing need home help for the elderly living alone. Indeed, the aging population growing, it is estimated that 33% of French have more than 60 years in 2060. The challenge is to program an interactive robot (via its perceptual abilities) able to learn the relationship between the user and a subset of everyday objects of that or of the relevant objects, present or possibly lost in the shared space of the robot and the user. In this context, there are still many obstacles to be overcome, particularly in terms of: (i) joint perception of man and his environment, (ii) integration of a robotic system, (iii) validation scenarios involving the robot and an elderly person in interaction with some everyday objects. The project objective is to see the robot answer questions on ten common items (defined by a preliminary study on a population that complains of cognitive disorders) through appropriate actions.For example, the robot signal the location of an object by moving toward him, grasping or giving oral information as to its position if the object is not reachable. The RIDDLE multistakeholder project: it includes the Magellium society, Gérontopôle Toulouse, MINC team LAAS-CNRS and the company Aldebaran Robotics which the robot must serve as a platform for the final demonstrations. This thesis was jointly supervised by Frederic and Isabelle Lerasle Ferran ed faculty respectively in the RAP teams LAAS-CNRS and SAMoVA IRIT-UPS. During this project, we, in partnership with the Gérontopôle defined a robotic scenario involving three main phases. A monitoring phase when the robot is far away from the user and the observed position, waiting for a request of interaction, a phase of proximal interaction where the robot is closer to the user and interacts with it, and finally the transition that enables the robot to move from one phase to another. This scenario is constructed so as to create a robot proactive interaction but non-intrusive. The non-invasive nature is embodied by the monitoring phase. Proactivity is, in turn, evidenced by the creation of an e intentionality detector enabling the robot to understand non-verbal way the will of the user to communicate with him. The scientific contributions of this thesis cut across various aspects of the project: the robotic scenario, the intentionality detector, a filtering technique particle swarm, and finally a Bayesian technique improvement of the word error rate from ' distance information. This thesis is divided into four chapters. The first deals with the intentionality detector, the second of the developed filter technology, the third phase of the proximal interaction and techniques employed, and the last chapter focuses on robotic implementations.Cette thèse porte sur la perception multimodale de l'homme pour l'Interaction Homme-Robot (IHR). Elle a été financée par le projet ANR Contint RIDDLE (2012 - 2015). Ce projet est centré sur le développement d'un robot d'assistance pour les personnes âgées atteintes de troubles cognitifs légers. Celui-ci a pour but de répondre à un besoin grandissant d'aide à domicile envers les personnes âgées vivant seules. En effet, la population vieillissant de plus en plus, on estime qu'environ 33% des français auront plus de 60 ans en 2060. L'enjeu est donc de programmer un robot interactif (via ses capacités perceptuelles) capable d'apprendre la relation entre l'usager et un sousensemble d'objets du quotidien de ce dernier, soit des objets pertinents, présents ou possiblement égarés dans l'espace partagé du robot et de l'usager. Dans ce cadre, il reste de nombreux verrous à lever, notamment en termes de : (i) perception conjointe de l'homme et de son environnement, (ii) d'intégration sur un système robotisé, (iii) de validation par des scénarii mettant en jeu le robot et une personne âgée en interaction avec quelques objets usuels. La finalité du projet est de voir le robot répondre aux interrogations relatives à une dizaine d'objets courants (définis par une étude préliminaire sur une population qui se plaint de troubles cognitifs) par des actions appropriées. Par exemple, le robot signalera l'emplacement d'un objet en se déplaçant vers lui, en le saisissant ou en donnant des indications orales quant à sa position si l'objet n'est pas atteignable. Le projet RIDDLE est multipartenaire : il regroupe la société Magellium, le Gérontopôle de Toulouse, l'équipe MINC du LAAS-CNRS et l'entreprise Aldebaran Robotics dont le robot doit servir de plateforme pour les démonstrations finales. Cette thèse a été co-encadrée par Frédéric Lerasle et Isabelle Ferran é respectivement enseignants-chercheurs dans les équipes RAP du LAAS-CNRS et SAMoVA de l'IRIT-UPS. Lors de ce projet, nous avons, en partenariat avec le gérontopôle, défini un scénario robotique regroupant trois phases principales. Une phase de monitoring où le robot se trouve loin de l'utilisateur et l'observe de sa position, en attente d'une demande d'interaction, une phase d'interaction proximale où le robot se trouve proche de l'utilisateur et interagit avec lui, et enfin la transition qui permet au robot de passer d'une phase à l'autre. Ce scénario est donc construit de manière à créer un robot d'interaction proactif mais non-intrusif. Le caractère non-intrusif est matérialisé par la phase de monitoring. La proactivité est, quant à elle, matérialisée par la création d'un détecteur d'intentionnalit é permettant au robot de comprendre de manière non-verbale la volonté de l'utilisateur de communiquer avec lui. Les contributions scientifiques de cette thèse recoupent divers aspects du projet : le scénario robotique, le détecteur d'intentionnalité, une technique de filtrage par essaim de particules, et enfin une technique bayésienne d'amélioration du taux d'erreur de mot à partir d'informations de distance. Cette thèse est divisée en quatre chapitres. Le premier traite du détecteur d'intentionnalité, le deuxième de la technique de filtrage développée, le troisième de la phase d'interaction proximale et des techniques employées, et enfin le dernier chapitre est centré sur les implémentations robotiques